Reversible Foundations: Training a 120B Sparse MoE through State-Preserving Scaling
可逆基础：通过状态保持扩展训练120B稀疏MoE模型
🧭 大规模MoE训练与模型扩展
The School of AI, Bengaluru, India
在单8GPU节点上，结合可逆堆叠与状态保持增长，端到端训练出120B稀疏MoE，优化器状态缩减45倍。
📌 工作参考价值（4 点）
- 可逆设计用于长序列推荐：电商用户行为序列往往很长，可逆层可将激活内存降至常数，适合在有限显存下扩展推荐模型的序列长度，例如用于用户长期兴趣建模。
- 渐进式模型扩容：从种子模型出发，通过状态保持增长逐步扩大专家数量，这一思路可直接借鉴到生成式推荐模型的迭代：先训练小规模Semantic ID生成器，再逐阶段增加专家，避免冷启动训练的高成本。
- TQP量化训练策略：对基础专家权重量化，仅对低秩适配器保留优化器状态，显著降低显存占用。在电商多模态Agent微调或生成式推荐模型部署时，可用类似方法在大参数量下保持低资源推理与训练。
- 施工级工程报告：文中详细记录了扩展中的失败模式，如“静默失败”导致假性收敛，这对实际构建大规模推荐系统时有警示意义，能帮助团队提前规避类似陷阱。